consistency model
OpenAI released a implementation of Consistency Models
consistency models, a new family of generative models that achieve high sample quality without adversarial training. They support fast one-step generation by design, while still allowing for few-step sampling to…
https://pbs.twimg.com/media/FthdDjWWIAE147u.jpg
DDIMのようにiterativeにノイズを除去するプロセスがあるため However, compared to single-step generative models like GANs, VAEs, and normalizing flows, the iterative generation procedure of diffusion models typically requires 10–2000 times more compute (Song & Ermon, 2020; Ho et al., 2020; Song et al., 202
1回のネットワークの評価で実現するモデルを提案する
そして回数を重ねればよりよくなるようにする
diffusion modelと同じように
RTX4090での生成
256×256の画像64枚を3.5秒(18fps相当)
解説
拡散モデルの逆拡散過程は確率微分方程式（Stochastic Differential Equation）の解で表現することができ、それはProbability Flow ODEと呼ばれる常微分方程式の解としても表現することができる、ということが分かっています（Song et al., 2021）。 この解軌道
Consistency Functionとなるようなモデルを学習する
CFは次のような性質を持つ
時刻tと、tにおけるデータの状態x_tを渡すと、解軌道上の(t, x_t)を返す
DDPMではステップごとに逆拡散過程をといていた
DDIMでは逆拡散過程の一部を確率的に推定してすっとばした
しかし大きくすっとばすと最低の誤りが大きくなるので20ステップ分だけを推定した
Consistency Modelもステップの結果(解軌道)を推定して省略する
256x256の画像を2stepsで32枚生成するのに5.02秒しかかかりません。1stepだと3.25秒です。びっくり
これがもっと早くできそう